Después de las razias de Almanzor y de su hijo Abd-al-Malik de finales del siglo X y principios del XI, el conde Ramón Borrell y la condesa Ermessenda donaron el territorio conocido como Segarra al obispo Borrell, entre los años 1010 y 1015, para que fuera repoblada. Precisamente, el obispo Borrell encargó a Guillem, levita, de Mediona o de Oló, el control de la zona para que fuera cultivada la tierra, se construyeran fortificaciones en las colinas de Calaf, Calafell y Ferrera. Desde ese momento no se tienen noticias del castillo de Calaf hasta el año 1031, cuando el levita Guillem dejó en testamento el control de la fortificación a su hijo, en nombre del obispo de Vic.

Los vizcondes de Cardona reclamaron los derechos, que según ellos tenían en la zona, ante un tribunal el 21 de agosto del año 1038. La situación se resolvió con un pacto, que de hecho ya se estaba aplicando desde el 1015, en que el obispado mantendría el dominio eminente de la fortaleza y los vizcondes serían los feudatarios. Los Cardona tuvieron varios castellanos, entre los que en el siglo XII encontramos el linaje de los Calaf.

Después de años de abandono, en el 2009 se iniciaron obras de restauración y reconstrucción del castillo, para permitir sus visitas. Desgraciadamente, se aprovechó este hecho para llenar la fortificación de vallas, que impiden su contemplación. Las reducidas visitas a su interior son el único momento que podemos ver con plenitud sus muros ...

Tiene planta pentagonal, con los lados irregulares. La anchura de sus muros supera los dos metros y medio y en algunos puntos llega hasta los tres metros.

La parte superior de los muros fue añadida en época moderna, donde hay numerosas aspilleras.

En el ángulo noroeste había una torre circular de grandes dimensiones, reconstruida totalmente en la última restauración.

La puerta adintelada se encuentra en el muro sur. Se encuentra en sobresaliendo del muro.

Rodeando el castillo había un segundo anillo de murallas, donde se concentraba la población de Calaf. En este espacio se encontraba la parroquia de Sant Pere, que compartía uno de sus muros con la muralla. Desarrolló las tareas parroquiales hasta mediados del siglo XV, momento en que se construye el nuevo templo, dedicado a Sant Jaume. La iglesia de Sant Pere se derrumbó en 1781.

Aprovechando parte de la muralla, se construye un Hospital. A finales del siglo XIX se restauró el edificio y fue convertido en el convento y colegio para niñas de las Carmelitas de la Caridad. Esta situación duró hasta el año 1936. Durante los años de la Guerra Civil, las responsables de la escuela fueron las Hermanas Dominicas de la Enseñanza, que estuvieron hasta 1965, momento en que las religiosas abandonan el viejo edificio para instalarse en uno de nueva construcción. Actualmente es el Centro Cívico.

Destaca su gran torre, que protege una de las puertas que tenía la muralla, conocida como Puerta del hospital.

A unos cuantos metros de ésta, se conserva otra puerta de la ciudad, la conocida con el nombre de Portal de Xuriguera, del siglo XVI y que conserva en una de sus dovelas el escudo de Calaf.